The power of Deep Neural Networks (DNNs) depends heavily on the training data quantity, quality and diversity. However, in many real scenarios, it is costly and time-consuming to collect and annotate large-scale data. This has severely hindered the application of DNNs. To address this challenge, we explore a new task of dataset expansion, which seeks to automatically create new labeled samples to expand a small dataset. To this end, we present a Guided Imagination Framework (GIF) that leverages the recently developed big generative models (e.g., DALL-E2) and reconstruction models (e.g., MAE) to "imagine" and create informative new data from seed data to expand small datasets. Specifically, GIF conducts imagination by optimizing the latent features of seed data in a semantically meaningful space, which are fed into the generative models to generate photo-realistic images with new contents. For guiding the imagination towards creating samples useful for model training, we exploit the zero-shot recognition ability of CLIP and introduce three criteria to encourage informative sample generation, i.e., prediction consistency, entropy maximization and diversity promotion. With these essential criteria as guidance, GIF works well for expanding datasets in different domains, leading to 29.9% accuracy gain on average over six natural image datasets, and 12.3% accuracy gain on average over three medical image datasets. The source code will be released: \url{https://github.com/Vanint/DatasetExpansion}.
translated by 谷歌翻译
会话代理显示了允许用户使用语言与移动设备进行交互的承诺。但是,要使用自然语言执行不同的UI任务,开发人员通常需要为每个特定任务创建单独的数据集和模型,这是昂贵且耗费的。最近,预先训练的大型语言模型(LLMS)被证明能够在目标任务中有几个示例提示时能够概括到各种下游任务。本文调查了使用单个LLM与移动UI进行多功能对话交互的可行性。我们建议一个设计空间,以在协作完成移动任务时对用户和代理之间的对话进行分类。我们设计提示技术以使LLM适应移动UIS上的对话任务。实验表明,我们的方法可以与体面的表现相互作用,从而表现出其可行性。我们讨论我们的工作用例及其对基于语言的移动互动的影响。
translated by 谷歌翻译
链接预测(LP)已被认为是图形学习的重要任务,其广泛的实际应用。 LP的典型应用是为给定的源节点(例如朋友推荐)检索最高的评分邻居。这些服务希望具有很高的推理可伸缩性,以找到低潜伏期中许多候选节点的最高评分邻居。最近有两个流行的解码器主要用于计算节点嵌入的边缘得分:HadamArdMLP和DOT产品解码器。经过理论和经验分析后,我们发现HadamardMLP解码器通常对LP更有效。但是,HadamardMLP缺乏在大图上检索最高得分的邻居的可扩展性,因为据我们所知,并不存在算法来检索sublinearearightions中的HadamardMLP解码器的最高得分邻居。为了使HadamardMLP可扩展,我们建议使用手电筒算法加速HadamardMLP的最高得分邻居检索:一种弹性算法,该算法逐渐应用了具有适应性调整的查询嵌入的近似最大内部产品搜索(MIPS)技术。经验结果表明,手电筒在不牺牲效力的情况下将LP的推理速度提高了100倍以上。我们的工作为大规模LP应用程序铺平了道路,并通过大大加速其推断,并通过有效的HadamArdMLP解码器铺平了道路。
translated by 谷歌翻译
减少甲烷排放对于缓解全球变暖至关重要。为了将甲烷排放归因于其来源,有必要综合的甲烷源基础设施数据集。深入学习远程感知的图像的最新进展有可能识别甲烷源的位置和特征,但是缺乏公开可用的数据,可以使机器学习研究人员和从业人员能够构建自动映射方法。为了帮助填补这一空白,我们在美国构建了一个称为Meter-ML的多传感器数据集,该数据集包含86,625个地理参考的NAIP,Sentinel-1和Sentinel-2图像,并在美国标记为有甲烷源设施,包括甲烷源设施,包括集中动物喂养操作,,,,,,,包括浓缩动物喂养操作,煤矿,垃圾填埋场,天然气加工厂,炼油厂和石油末端以及废水处理厂。我们尝试各种模型,以利用不同的空间分辨率,空间足迹,图像产品和光谱带。我们发现,我们的最佳模型在确定浓缩动物喂养操作的精确召回曲线下达到了一个面积,在专家标签的测试集上,用于识别浓缩动物饲养操作,用于油炼油厂和石油末端0.821,这表明有可能进行大规模映射。我们在https://stanfordmlgroup.github.io/projects/meter-ml/上免费提供仪表-ML,以支持自动化甲烷源映射的未来工作。
translated by 谷歌翻译
在过去的25年中,我们目睹了机器学习在编译器领域的广泛应用。选择和相位订购问题。但是,有限的作品已在最先进的编译器(即LLVM)上游,以将前者无缝集成到编译器的优化管道中,以便由用户容易部署。 MLGO是此类项目的第一个项目之一,它仅努力使用强化学习使用基于ML的INLINER来减少二进制的代码大小。本文介绍了mlgoperf;第一个端到端框架,能够使用LLVM的ML Inliner优化性能。它采用二级ML模型来生成用于训练重新定位的增强学习代理的奖励,该辅助剂以前由MLGO用作主要模型。它通过预测分析功能的函数的速度加速来做到这一点,并为主要模型提供快速训练框架,否则将是不切实际的。实验结果表明,MLGOPERF在LLVM在O3时的优化方面的优化分别为SPEC CPU2006和CBENCH基准分别获得了1.8%和2.2%。此外,提出的方法为我们的基准测试带来了自动点守则区域的26%,可以将其转化为额外的3.7%速度值。
translated by 谷歌翻译
TensorFlow GNN(TF-GNN)是张量曲线的图形神经网络的可扩展库。它是从自下而上设计的,以支持当今信息生态系统中发生的丰富的异质图数据。Google的许多生产模型都使用TF-GNN,最近已作为开源项目发布。在本文中,我们描述了TF-GNN数据模型,其KERAS建模API以及相关功能,例如图形采样,分布式训练和加速器支持。
translated by 谷歌翻译
通常通过过去的选择来告知机器学习中的评估,例如要使用哪些数据集或指标。该标准化可以使用排行榜对平等基础进行比较,但是随着出现更好的替代方案,评估选择变得不佳。这个问题在自然语言生成中尤其相关,该语言需要不断改善的数据集,指标和人类评估以提出确定性的主张。为了使遵循最佳模型评估实践更加容易,我们介绍了GEMV2。新版本的一代,评估和指标基准为数据集,模型和指标开发人员提供了模块化基础架构,以使彼此受益。GEMV2支持40种记录的数据集中51种语言。所有数据集的模型都可以在线评估,我们的交互式数据卡创建和渲染工具使得在Living Benchmark中添加新数据集变得更加容易。
translated by 谷歌翻译
人们对利用置换推理来搜索定向的无环因果模型的方法越来越兴趣,包括Teysier和Kohler和Solus,Wang和Uhler的GSP的“订购搜索”。我们通过基于置换的操作Tuck扩展了后者的方法,并开发了一类算法,即掌握,这些算法在越来越弱的假设下比忠诚度更有效且方向保持一致。最放松的掌握形式优于模拟中许多最新的因果搜索算法,即使对于具有超过100个变量的密集图和图形,也可以有效,准确地搜索。
translated by 谷歌翻译
以决策为中心的学习(DFL)是为下游优化任务量身定制预测模型的范式,该任务使用其预测以更好地执行该特定任务。与DFL相关的主要技术挑战是,它需要能够通过优化问题进行区分,这由于不连续的解决方案和其他挑战很难。过去的工作主要通过手工制作特定于任务的替代物来解决这个问题,这些替代品可以在区分时提供信息丰富的梯度。但是,需要为每个新任务进行手工替代的需要限制了DFL的可用性。此外,通常无法保证产生的替代物的凸度,因此,训练使用它们的预测模型会导致局部优势较低。在本文中,我们完全消除了代孕,而是学习捕获特定于任务信息的损失功能。据我们所知,我们的方法是第一种完全替代以决策为中心学习的优化组成部分,自动学习的损失。我们的方法(a)仅需要访问可以解决优化问题并因此可以推广的黑盒甲骨文,并且(b)可以通过构造传播,因此可以轻松地优化。我们对文献中三个资源分配问题进行评估,发现我们的方法在没有考虑到所有三个领域的任务结构,甚至是文献中手工制作的代理人的情况下都优于学习的方法。
translated by 谷歌翻译
价值功能的空间是强化学习中的一个基本概念。表征其几何特性可以提供优化和表示的见解。现有作品主要关注马尔可夫决策过程(MDP)的价值空间。在本文中,我们研究了考虑过渡不确定性的更通用的稳健MDP(RMDP)设置的稳健价值空间的几何形状。具体而言,由于我们发现很难直接适应RMDP的先验方法,因此我们从重新审视非持续的情况开始,并引入了一种新的视角,使我们能够以类似的方式表征非稳定和健壮的价值空间。这种观点的关键是将价值空间以州的方式分解成超曲面的工会。通过我们的分析,我们表明稳健的值空间由一组圆锥形超曲面确定,每组都包含所有在一个状态上一致的策略的可靠值。此外,我们发现在不确定性集中仅采用极端点足以确定可靠的值空间。最后,我们讨论了有关强大价值空间的其他一些方面,包括其对多个州的非跨性别和政策协议。
translated by 谷歌翻译